É valido um documento assinado pela mãe ou pelo próprio filho "abrindo mão" do direito de propor a Ação de Investigação de Paternidade?

Não, um documento particular não tem valor maior do que a Lei. Trata-se de um direito irrenunciável.